预训练模型（PTM）通过利用复杂的预训练目标和大量的模型参数，可以有效地获得无标记数据中的丰富知识。而在多模态中，PTM的发展还处于初期。根据具体模态的不同，将目前大多数的多模态PTM分为图像?文本PTM和视频?文本PTM；根据数据融合方式的不同，还可将多模态PTM分为单流模型和双流模型两类。首先，总结了常见的预训练任务和验证实验所使用的下游任务；接着，梳理了目前多模态预训练领域的常见模型，并用表格列出各个模型的下游任务以及模型的性能和实验数据比较；然后，介绍了M6（Multi-Modality to Multi-Modality Multitask Mega-transformer）模型、跨模态提示调优（CPT）模型、VideoBERT（Video Bidirectional Encoder Representations from Transformers）模型和AliceMind（Alibaba’s collection of encoder-decoders from Mind）模型在具体下游任务中的应用场景；最后，总结了多模态PTM相关工作面临的挑战以及未来可能的研究方向。

针对云审计中第三方审计机构（TPA）可能存在的恶意欺骗行为，提出一种无双线性对的、能够正确检查TPA行为的可信云审计方案。首先，利用伪随机比特生成器生成随机挑战信息，以保证TPA生成挑战信息可靠；其次，在证据生成过程中增加哈希值，从而有效保护用户数据隐私；然后，在证据验证过程中，增加用户和TPA结果的交互过程，根据这个结果检查数据完整性，并判断TPA是否如实完成审计请求；最后，扩展该方案以实现多项数据的批量审计。安全分析表明，所提方案能够抵抗替换攻击和伪造攻击，且能保护数据隐私。相比基于Merkle哈希树的无双线性对（MHT-WiBPA）审计方案，所提方案的验证证据时间接近，而标签生成时间降低约49.96%。效能分析表明，所提方案在保证审计结果可信的前提下，实现了更低的计算开销和通信开销。

将用户感兴趣的事件从非结构化信息中提取出来，然后以结构化的方式展示给用户，这就是事件抽取。事件抽取在信息收集、信息检索、文档合成、信息问答等方面有着广泛应用。从全局出发，事件抽取算法可以分为基于模式匹配的算法、触发词法、基于本体的算法以及前沿联合模型方法这四类。在研究过程中根据相关需求可使用不同评价方法和数据集，而不同的事件表示方法也与事件抽取研究有一定联系；以任务类型区分，元事件抽取和主题事件抽取是事件抽取的两大基本任务。其中，元事件抽取有基于模式匹配、基于机器学习和基于神经网络这三种方式，而主题事件抽取有基于事件框架和基于本体两种方式。事件抽取研究在中英等单语言上均已取得了优秀成果，而跨语言事件抽取依然面临着许多问题。最后，总结了事件抽取的相关工作并提出未来研究方向，以期为后续研究提供参考。

针对深层神经网络初始化方法不明确、泛化能力差而导致解决垃圾邮件过滤时效果较差的问题，提出了基于深度置信网络的分类方法。深度置信网络通过逐层无监督的方法来预训练网络，实现了网络的初始化。在LingSpam，SpamAssassin和Enron1三个广泛使用的数据集上，通过与目前最好的垃圾邮件过滤方法支持向量机(SVM)在分类性能上进行比较，实验结果表明深度置信网络的垃圾邮件过滤方法是有效的，获得了较高的准确率和召回率。